OBJETIVO: Comparar quatro métodos de avaliação com base nas notas obtidas por alunos do quarto ano de Medicina em estágio clínico. MÉTODO: Ao final do estágio clínico em Ginecologia e Obstetrícia, Clínica Médica e Pediatria, em unidades de atenção primária, 106 alunos do quarto ano foram avaliados com base em quatro métodos: Prova Teórica (Pt), Portfólio (Pf), Avaliação Estruturada do Atendimento Clínico (AE) e Conceito Global Itemizado (CGI), (escala 0-10). A análise estatística utilizou coeficiente alfa de Cronbach, teste de Wilcoxon para dados pareados, coeficiente de correlação de Pearson, análise de componentes principais e distância euclidiana. RESULTADOS: As medianas mais baixas foram de PT, e as mais altas, de AE. Houve diferença significativa nas distribuições das notas entre todos os pares de métodos (P < 0,001). A correlação mais forte e a maior concordância ocorreram entre as notas de AE e CGI. A análise de componentes principais contrastou as notas de Pt e Pf com as de AE e CGI. CONCLUSÃO: Cada método parece enfocar diferentes aspectos da competência clínica. AE e CGI parecem avaliar competências semelhantes, em oposição a Pf e Pt. Portanto, nenhum método deve ser utilizado isoladamente para avaliar os alunos em estágio clínico.

OBJECTIVE: The objective was to compare four evaluation methods based on the grades received by fourth-year medical students in their clinical clerkship. METHOD: At the completion of the clinical clerkship in Obstetrics and Gynecology, Internal Medicine, and Pediatrics in primary care clinics, 106 fourth-year students were evaluated based on four methods, on a scale from 1 to 10: multiple-choice questions (MCQs), portfolio (P), real-case structured clinical assessment (RC-SCA), and global itemized rating (GIR). Statistical analysis used Cronbach alpha, Wilcoxon paired test, Pearson correlation coefficient, principal components analysis, and Euclidian distance. RESULTS: The lowest median scores were for MCQs and the highest for RC-SCA. The distribution of scores for all pairs of methods showed significant differences (P < 0,001). Agreement was strongest and highest between RC-SCA and GIR. Principal components analysis contrasted MCQs and P scores with those for RC-SCA and GIR. CONCLUSION: The various methods focused on different aspects of the expected clinical skills. RC-SCA and GIR appear to evaluate different skills as compared to P and MCQs. Thus, no method should be used alone to evaluate medical students in clinical clerkships.

Muito se tem feito para desenvolver métodos que avaliem de forma confiável a proficiência em habilidade clínica dos alunos de graduação médica. Há fortes evidências de que a avaliação global pode ser uma alternativa viável e confiável na avaliação de estudantes de graduação no ambiente clínico. Rotineiramente, a competência clínica tem sido avaliada pelos docentes por meio de um conceito subjetivo. Essa nota, dada por um especialista, não é objetiva e está sujeita a vieses. O uso de um instrumento bem delineado, com diversos itens pontuados numa escala, oferece a vantagem de especificar o que deve ser avaliado, auxiliando os avaliadores a distinguir os diferentes níveis do desempenho. Usando este método, os docentes podem expressar sua percepção global dos alunos, de forma mais objetiva, em relação a duas esferas distintas da competência: técnica (contendo itens como história clínica, exame físico, conhecimento médico, julgamento clínico, solução de problemas e hábitos no trabalho) e humanista (incluindo comunicação com pacientes e familiares, respeito, habilidades reflexivas, sensibilidade ao contexto e trabalho em equipe).

Considerable effort has focused on developing methods to reliably assess undergraduate medical students' proficiency in clinical skills. There is strong evidence that global rating can be a feasible and reliable alternative for rating undergraduate medical students in the clinical setting. Professors have routinely assessed clinical competence with a subjective rating. This score, given by a specialist, is not objective and is subject to biases. The use of a well-designed instrument with various items rated on a scale offers the advantage of specifying what should be assessed, thus helping professors distinguish between different levels of performance. Using this method, faculty can express their global perception of the students in a more objective way in relation to two distinct spheres of technical competence (containing items like patient history, physical examination, medical knowledge, clinical knowledge, problem-solving, and work habits) and humanist competence (including communication with patients and families, respect, reflective skills, sensitivity to context, and teamwork).

OBJETIVO: Comparar notas do Conceito Global Itemizado (CGI) e da Avaliação Estruturada (AE), atribuídas por três especialidades - Ginecologia e Obstetrícia (GO), Clínica Médica (CM) e Pediatria (Ped) - a alunos em final de estágio clínico nas unidades básicas de saúde. MÉTODOS: Cento e seis alunos do 4º ano médico foram avaliados por um docente de cada especialidade, utilizando CGI contendo seis domínios de habilidades técnicas (CGIt) e sete domínios humanísticos (CGIh), em escala 0-10, e pela AE resultante de observação de atendimento. Para análise estatística, utilizaram-se coeficientes de Cronbach, testes de Friedman e pareados de Wilcoxon, coeficientes de correlação de Spearman e Pearson e distâncias Euclidianas (p< 0,05). RESULTADOS: Houve alta consistência interna do CGI nas especialidades (>0,92). As distribuições das notas concentraram-se no extremo superior da escala. As notas de Ped foram significativamente inferiores às de GO e CM (diferenças de medianas entre 0,50 e 0,67), com correlações baixas entre elas (-0,02<R<0,48). Os domínios que tiveram maior impacto na confiabilidade do CGI foram: julgamento clínico (GO e Ped), solução de problemas (CM) e capacidade de auto-reflexão (Ped). As notas de GO e Ped mostraram a menor concordância; as de GIRt de Ped foram as mais discordantes das outras notas. CONCLUSÃO: As especialidades têm visões distintas sobre como avaliar alunos, mesmo utilizando instrumentos semelhantes, o que pode ser reflexo de "cultura" de cada uma delas. Permanece o desafio de minimizar tais diferenças com atividades de desenvolvimento docente.

OBJECTIVE: To compare medical students' global itemized ratings (GIR) and real-case structured clinical assessment (RC-SCA), generated by faculty members from three different specialties (Gynecology-O&G, Internal Medicine-IM, Pediatrics-Ped). METHOD: 106 Y4 learners were assessed by one faculty member from each specialty, who filled in GIR, consisting of 6 technicaldomains (mean score GIRt) and 7 humanistic domains (mean score GIRh), on a 0-10 scale, and resultant RC-SCA, from direct attendance observation. Statistical analyses used Cronbach coefficient, Friedman and Wilcoxon paired tests, Pearson and Spearman correlation coefficients, Euclidean distances. Significance level=5%. RESULTS: High internal consistency was observed in the three GIR (> 0.92). Ratings were negatively skewed. Ped scores were significantly lower than O&G and IM (median differences between 0.50 and 0.67), with low correlations between them (-0.02<R<0.48). the domains that had greater impact on the reliability of GIR were: clinical judgment (O&G and Ped), problem-solving (IM), and self-reflective skills (Ped). O&G and Ped scores showed the smallest agreement; GIRt Ped scores showed the greatest disagreement with all the other scores. CONCLUSION: The specialties have different views on how to evaluate students' skills, inspite of using similar instruments, which can be a reflection of their "culture". the challenge remains to minimize these differences through faculty development activities.

Apesar dos avanços tecnológicos, a história médica, o exame físico e a relação médico-paciente continuam as mais importantes ferramentas diagnósticas e terapêuticas. No entanto, deficiências em habilidades clínicas entre alunos têm sido relatadas. Competência clínica deve ser considerada não apenas a demonstração de comportamentos isolados, mas, sim, a habilidade integrada de pensar, sentir e agir na prática real, um determinado contexto. Por isso, ferramentas de observação direta são bastante úteis para avaliar o que os estudantes fazem ou deixam de fazer durante as consultas. O instrumento de avaliação estruturada parece ser adequado tanto para os avaliadores quanto para os avaliados, uma vez que pode ser usado como um guia de observação e também como uma ferramenta de feedback, ampliando as oportunidades de aprendizagem no cenário clínico. Para que esse instrumento seja aplicado de forma eficaz, justa e confiável, os avaliadores precisam ser adequadamente preparados.

Despite the technological advances, medical history, physical examination and patient-doctor relationship continue being the most important diagnostic and therapeutic tools. However, deficiencies in clinical skills among students have been related. Clinical competence is context-dependent; it is more than a demonstration of isolated behaviors, but an integrative ability to think, feel and act in real practice. Tools for direct observation are very helpful in evaluating what students are and are not able to do during clinical encounters. So, structured assessment seems to be a valuable instrument both for evaluators and students. It can be used as an observational guide and as a tool for feedback, and enhances the learning opportunities in clinical settings. To effectively apply this method, faculty should be provided with effective training to increase fairness and reliability of the assessment strategy.

Fornecer feedback aos alunos é um importante aspecto da aprendizagem e um papel essencial dos docentes. No contexto da educação médica clínica, feedback se refere às informações que descrevem o desempenho dos alunos em determinada situação ou atividade. A habilidade de dar e receber feedback melhora os resultados da aprendizagem, uma vez que fornece a base para a aprendizagem autodirecionada e para a reflexão crítica, auxilia os alunos a corrigirem seus erros, reforça comportamentos desejáveis e mostra como o aluno pode melhorar. Apesar da evidente falta de feedback durante o curso médico, os alunos desejam e valorizam essa ferramenta construtiva, considerando-a um aspecto importante do ensino de qualidade. O feedback eficaz deve ser: assertivo, respeitoso, descritivo, oportuno e específico. Docentes e alunos deveriam ser preparados para dar e receber feedback. Coordenadores e diretores deveriam reconhecer o papel do feedback como uma importante estratégia de ensino- aprendizagem na graduação.

Give feedback to the students is an important aspect in the learning process and an essential role of the teachers. In the context of medical education, feedback refers to information describing the students' performance in a given situation or activity. The ability on giving and receiving feedback improves learning outcomes since it provides a basis for self-directed learning and critical thinking, helps the student correct errors, reinforces desirable attitudes and shows the student how he can improve. Despite the patent lack of feedback throughout the medical course, students greatly desire and value this constructive tool and consider it as an important aspect of qualit y teaching. Effective feedback should be assertive, delivered with respect, descriptive, timely and linked to specific observed behaviors. Both faculty and students should be offered proper training in order to enhance their ability to give and receive feedback. Program directors should value the role of feedback as an essential teaching/learning strategy for the undergraduate curriculum.

Muitos estudos recentes incluem a auto-avaliação e a avaliação feita por pares na nota final do aluno em estágio clínico. Por muito tempo as avaliações dos estudantes de Medicina têm sido feitas exclusivamente pelos professores de forma subjetiva. Entretanto, a avaliação dos pares tem sido apontada como um bom indicador do futuro desempenho profissional, sendo considerada consistente e confiável, fornecendo informações que não poderiam ser medidas pelos métodos tradicionais. De forma complementar, a auto-avaliação também contribui para o processo de aprendizagem contínua, pois auxilia os alunos a identificarem seus pontos fortes e fracos. Embora nenhum desses dois métodos de avaliação seja rotineiramente ensinado durante o curso, esse exercício é uma valiosa intervenção para o desenvolvimento e habilitação profissional do médico. Dessa forma, as escolas médicas deveriam ajudar os alunos a compreender os princípios básicos dessas estratégias educacionais, oferecendo treinamento adequado e apoio institucional, incluindo a confidencialidade das informações.

Many recent studies include self- and peer-assessment of medical students as a component in the final clerkship grades. For a long time the evaluation of the medical student depended exclusively on subjective faculty assessment. However, peer ratings have been pointed out as a good predictor of future professional performance. These ratings are consistent, reliable and provide information that is not measured by other traditional methods. Besides, self-assessment contributes to continued education and lifelong learning by helping students identify their own strengths and weaknesses. Although self- and peer-assessment are not routinely taught during the medical course this exercise represents a valuable intervention towards the professional development of the physician. Medical schools should therefore help students understand the basic principles of these educational strategies by offering appropriate training and institutional support including confidentialit y of information.